BTS-AgentBench: A Deterministic, Replayable Pipeline from Read-Only Telemetry Logs to Agent Benchmarks
BTS-AgentBench：从只读遥测日志到可复现 Agent 基准的确定性管线
🧭 Agent 基准构建与确定性重放
从工业遥测日志构建可重放、零泄漏多轮 Agent 基准，精确复现 356/87/89 划分
📌 工作参考价值（4 点）
- 用业务日志构造 agent 评估集时，先将原始日志规范化为 read-only tool store，再生成任务，保证工具视图与实际一致，避免评测数据污染。
- 采用 deterministic pipeline + replay report + construction-exclusion controller，确保 train/dev/test 可重建且无答案泄漏；这在电商/客服 agent 评测中可复用到多轮任务生成。
- 对多轮 agent 任务显式添加 clarification、goal revision、timestamp policy、quality-gated reporting、evidence attribution 等类型和边界，能在业务上定义更可操作的 agent 评估维度。
- 对 benchmark 引入 coded contract preflight 和 double build matching，提升构建质量；工程上可以用类似契约测试保障 pipeline 一致性。